#LLM deployment

4 篇

Broken on Arrival: Non-Functional Quantized LLM Artifacts in Public Model Registries and How to Catch Them

公共模型库中量化 LLM 工件非功能性失效及其检测

🧭 LLM 量化模型验收与发布测试

Independent Researcher

审计 Ollama 与 Hugging Face 量化模型发现 2.3% 低比特小模型功能失效，并证明校准可修复

📌 工作参考价值（4 点）

发布内部量化/蒸馏模型到模型库或线上前，构建轻量功能 smoke test（如代码生成 15-50 条业务相关 prompts）拦截“看似正常但输出失效”的模型，尤其对 2-4bit 小模型。
量化配方要作为模型元数据记录并在发布前验证：是否使用 importance matrix/calibration 数据；对低比特小模型优先做校准，论文中 Qwen2.5-Coder-3B 从 0 提升到 76-113/164，说明校准是关键开关。
模型验收不能只校验 hash/张量一致性；该研究显示 registry 文件与原权重张量完全一致但仍功能失效，需在目标推理栈上跑端到端任务，而非只做格式或数值对比。
对线上 Agent/推荐 LLM，建议建立“模型健康度回归集”，按量化级别和参数规模分层采样测试；低比特（≤4B 参数）模型发布应强制功能测试，避免上线即不可用。

LLM | 2026-10-24 | HF Daily | score 6/10

TRACE-ROUTER: 面向Agentic AI的任务一致自适应在线路由

🧭 Agent任务级自适应路由

Georgia Institute of Technology · Intel · Texas A&M University

用任务级上下文Bandit路由替代请求级路由，通过延迟奖励统一优化Agent工作流的准确率与延迟。

📌 工作参考价值（4 点）

Agent任务内固定模型池：对电商客服、搜索推荐Agent等多步工具调用场景，可在任务入口用上下文Bandit选择一个LLM，整个任务会话固定使用该模型，避免每步独立路由带来的反馈归因偏差。
利用任务级延迟奖励在线学习：直接使用最终的任务成功/失败和总延迟作为奖励信号，无需预估单步复杂度，工程实现简单，适合线上持续优化路由策略。
Bandit策略可迁移：若业务中已有Agent工作流和模型池，可将现有逐请求路由器替换为任务级Bandit，只需在任务结束时收集终端奖励，即可用LinUCB等标准方法更新策略，降低试错成本。
平衡成本与效果：在预算受限的推荐Agent中（如商品咨询、比价），可自动将复杂任务路由到大模型，简单任务用小模型，在不牺牲最终准确率的前提下显著降低延迟和推理成本。

Agent | 2026-07-24 | cs.LG | score 7/10

WattGPU：预测未见GPU和LLM的推理功耗与延迟

🧭 推理能耗预测 · 机器学习系统

Universidad Politécnica de Madrid · Zurich University of Applied Sciences

仅用公开元数据与规格，无需硬件即可预测LLM在未见GPU上的推理功耗和延迟，泛化良好。

📌 工作参考价值（4 点）

在引入新GPU或新LLM时，可快速预估推理功耗与延迟，替代昂贵的手工profiling，辅助部署前硬件选型。
模型仅依赖公开的LLM参数表和GPU规格（如内存带宽、TDP），无需购置或租用设备，能大幅降低评估成本。
给出的中位绝对百分比误差在离线场景约3.4%，服务器场景约13.5%，虽非生产级精度，但GPU排序相关性高（Kendall τ≥0.76），适合做粗筛，识别表现突出的GPU型号。
仓库开源，可将自有的LLM与硬件数据加入扩展，为广告/推荐系统中Agent、查询改写等LLM服务做容量规划和性价比对比。

Other | 2026-07-02 | cs.LG | score 6/10

聚类、路由、升级：面向成本感知LLM服务的级联框架

🧭 LLM级联路由与成本优化

ADAPT Centre, Trinity College Dublin · Huawei Research

两阶段级联：先聚类查询并分配最经济的模型，再通过质量估计升级低质量输出，仅用正确性标签实现成本-准确率优化。

📌 工作参考价值（4 点）

多规格LLM路由架构：电商搜索/推荐/Agent场景常有多型号LLM（如7B/70B）。可借鉴其两阶段设计：先用聚类将用户查询按意图分组，如“商品咨询”“售后投诉”“闲聊”，为每组预先分配性价比最高的模型，避免大模型过载。
成本可控的升级机制：第二阶段质量估计与升级，类似于推荐系统的粗排-精排级联。可为Agent生成的回复或推荐文案设置质量阈值，当小模型输出置信度低时自动升级到大模型重生成，在保证准确率的同时节省平均推理成本。
仅需任务正确性标签，适合快速迭代：框架无需额外的人工标注偏好或优劣对比，只需业务已有的正确/错误标签（如用户满意度标签、客服解决状态）即可离线调优λ和升级阈值，降低维护成本。
可解释的超参数控制运营权衡：通过λ显式设定推理成本预算，业务运营可灵活调整“省钱-更准”的天平，无需重新训练或手动配置路由规则，模型池变化时自动适配。

LLM | 2026-06-24 | HF Daily | score 7/10